//1.分析数据地址 浏览器开发者工具中的 network 组件
//2.发起请求 axios requests……
//3.提取数据 cheerio re
//4.保存数据 fs 数据库


// 获取数据所在地址
const url = 'http://www.xbmu.edu.cn/frontChannelPage.action?siteId=1&articleClassId=104';
const baseUrl = 'http://www.xbmu.edu.cn/';

// 发起请求
const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');
const writeStream = fs.createWriteStream('test.csv');

// 写入csv首行信息
writeStream.write('时间,标题,网址 \n');
axios.get(url)
    .then(function (response) {

        // handle success
        // console.log(response.data);
        // 提取数据
        // 将axios请求得到的数据传入chreeio进行分析   
        const $ = cheerio.load(response.data);
        // 使用CSS选择器选择节点
        // console.log($('p').text());
        // #container > div.list_main > div.list_right > div.list_right_main > ul > li
        // console.log($('#container > div.list_main > div.list_right > div.list_right_main > ul > li').text());
        $('#container > div.list_main > div.list_right > div.list_right_main > ul > li').each(
            function (index, element) {
                let newsData = $(element).find('span').text();
                let newsTitle = $(element).find('a').text();
                let newsUrl = baseUrl + $(element).find('a').attr('href');

                // 存储数据
                console.log(newsData, newsTitle, newsUrl);
                // writeStream.write(newsData + ',' + newsTitle + ',' + newsUrl + '\n');
                writeStream.write(`${newsData},${newsTitle},${newsUrl}\n`);
            }
        );
    })
    .catch(function (error) {

        // handle error
        console.log(error);
    });